Circulant temporal encoding for video retrieval and temporal alignment

We address the problem of specific video event retrieval. Given a query video of a specific event, e.g., a concert of Madonna, the goal is to retrieve other videos of the same event that temporally overlap with the query. Our approach encodes the frame descriptors of a video to jointly represent their appearance and temporal order. It exploits the properties of circulant matrices to efficiently compare the videos in the frequency domain. This offers a significant gain in complexity and accurately localizes the matching parts of videos. The descriptors can be compressed in the frequency domain with a product quantizer adapted to complex numbers. In this case, video retrieval is performed without decompressing the descriptors. We also consider the temporal alignment of a set of videos. We exploit the matching confidence and an estimate of the temporal offset computed for all pairs of videos by our retrieval approach. Our robust algorithm aligns the videos on a global timeline by maximizing the set of temporally consistent matches. The global temporal alignment enables synchronous playback of the videos of a given scene

Réduction de dose par l'utilisation de CT-Calcium Score pour la correction d'atténuation des examens de PET cardiaque au 13N-NH3: travail de Bachelor

Objectifs : Nous avons étudié la perfusion myocardiques globale (PMg) chez des patients ayant bénéficié d’un examen de PET cardiaque au 13N-NH3. Deux techniques de correction d’atténuation (AC) différentes sont utilisées. La première méthode s’appuie sur une carte d’atténuation(AM) standard, obtenue à l’aide d’un CT-Scan. La deuxième, consiste à utiliser un examen CT-Calcium Score (CS). Dès lors, c’est une correction d’attenuation issue d’un calcium score (CACS). Le but de l’étude est d’évaluer la cohérence entre ces deux méthodes de AC et de déterminer si les deux techniques sont équivalentes en terme de performance. Ainsi, nous pourrions remplacer la AM standard par la CACS et économiser un CT-Scan aux patients. Méthodologie : L’étude porte sur 32 patients cardiopathes ayant bénéficié d’un examen PET cardiaque au 13N-NH3. Nous avons utilisé trois logiciels dédiés à la cardiologie nucléaire pour déterminer la PMg à l’effort (STR) puis au repos (RST) ainsi que la réserve de flux coronaire (CFR) pour chacun des patients. Le logiciel de référence PMOD est comparé aux logiciels Kinetic et MBF. Nous avons analysé la PMg de ces 32 patients avec chacun des trois outils avec une AC standard, dans un premier temps, puis avec une CACS. Ainsi, il nous a été possible de comparer les résultats de ces deux techniques entre eux. Pour un même logiciel d’abord, puis entre les différents logiciels ensuite. Par ailleurs, une évaluation de la variabilité inter-opérateur à aussi été réalisée dans le but de tester la rigueure du protocole utilisé

Extreme leg motion analysis of professional ballet dancers via MRI segmentation of multiple leg postures

Purpose: Professional ballet dancers are subject to constant extreme motion which is known to be at the origin of many articular disorders. To analyze their extreme motion, we exploit a unique magnetic resonance imaging (MRI) protocol, denoted as ‘dual-posture' MRI, which scans the subject in both the normal (supine) and extreme (split) postures. However, due to inhomogeneous tissue intensities and image artifacts in these scans, coupled with unique acquisition protocol (split posture), segmentation of these scans is difficult. We present a novel algorithm that exploits the correlation between scans (bone shape invariance, appearance similarity) in automatically segmenting the dancer MRI images. Methods: While validated segmentation algorithms are available for standard supine MRI, these algorithms cannot be applied to the split scan which exhibits a unique posture and strong inter-subject variations. In this study, the supine MRI is segmented with a deformable models method. The appearance and shape of the segmented supine models are then re-used to segment the split MRI of the same subject. Models are first registered to the split image using a novel constrained global optimization, before being refined with the deformable models technique. Results: Experiments with 10 dual-posture MRI datasets in the segmentation of left and right femur bones reported accurate and robust results (mean distance error: 1.39 ± 0.31mm). Conclusions: The use of segmented models from the supine posture to assist the split posture segmentation was found to be equally accurate and consistent to supine results. Our results suggest that dual-posture MRI can be efficiently and robustly segmente

Etude de la variabilité inter- et intra-opérateur du volume de l'oreillette droite par l'IRM: travail de Bachelor

Nous avons réalisé un protocole de segmentation pour l’analyse de l’oreillette droite grâce au logiciel OsiriX dans le but de mesurer la variabilité inter- et intra-opérateur. Nous voulions vérifier si le TRM avait des résultats comparables à ceux d’un expert, le Professeur Vallée. Nous avons chacun effectué un certain nombre de segmentations pour calculer le volume de l’atrium droit. D’un point de vue médical, la mesure du volume de l’oreillette droite permet d’effectuer certains liens avec des pathologies

DeepFlow: Large displacement optical flow with deep matching

International audienceOptical flow computation is a key component in many computer vision systems designed for tasks such as action detection or activity recognition. However, despite several major advances over the last decade, handling large displacement in optical flow remains an open problem. Inspired by the large displacement optical flow of Brox and Malik, our approach, termed DeepFlow, blends a matching algorithm with a variational approach for optical flow. We propose a descriptor matching algorithm, tailored to the optical flow problem, that allows to boost performance on fast motions. The matching algorithm builds upon a multi-stage architecture with 6 layers, interleaving convolutions and max-pooling, a construction akin to deep convolutional nets. Using dense sampling, it allows to efficiently retrieve quasi-dense correspondences, and enjoys a built-in smoothing effect on descriptors matches, a valuable asset for integration into an energy minimization framework for optical flow estimation. DeepFlow efficiently handles large displacements occurring in realistic videos, and shows competitive performance on optical flow benchmarks. Furthermore, it sets a new state-of-the-art on the MPI-Sintel dataset

A GPU framework for parallel segmentation of volumetric images using discrete deformable models

Despite the ability of current GPU processors to treat heavy parallel computation tasks, its use for solving medical image segmentation problems is still not fully exploited and remains challenging. A lot of difficulties may arise related to, for example, the different image modalities, noise and artifacts of source images, or the shape and appearance variability of the structures to segment. Motivated by practical problems of image segmentation in the medical field, we present in this paper a GPU framework based on explicit discrete deformable models, implemented over the NVidia CUDA architecture, aimed for the segmentation of volumetric images. The framework supports the segmentation in parallel of different volumetric structures as well as interaction during the segmentation process and real-time visualization of the intermediate results. Promising results in terms of accuracy and speed on a real segmentation experiment have demonstrated the usability of the syste

Selection itérative de transformations pour la classification d'images

National audienceEn classification d'images, une stratégie efficace pour apprendre un classifieur invariant à certaines transformations consiste à augmenter l'échantillon d'apprentissage par le même ensemble d'exemples mais auxquels les transformations ont été appliquées. Néanmoins, lorsque l'ensemble des transformations possibles est grand, il peut s'avérer difficile de sélectionner un petit nombre de transformations pertinentes parmi elles tout en conservant une taille d'échantillon d'apprentissage raisonnable. optimal. En effet, toutes les transformations n'apportent pas le même impact sur la performance ; certains peuvent même dégrader la performance. Nous proposons un algorithme de sélection automatique de transformations : à chaque itération, la transformation qui donne le plus grand gain en performance est sélectionnée. Nous évaluons notre approche sur les images de la compétition ImageNet 2010 et améliorons la performance en top-5 accuracy de 70.1% à 74.9%

Selection itérative de transformations pour la classification d'images

National audienceEn classification d'images, une stratégie efficace pour apprendre un classifieur invariant à certaines transformations consiste à augmenter l'échantillon d'apprentissage par le même ensemble d'exemples mais auxquels les transformations ont été appliquées. Néanmoins, lorsque l'ensemble des transformations possibles est grand, il peut s'avérer difficile de sélectionner un petit nombre de transformations pertinentes parmi elles tout en conservant une taille d'échantillon d'apprentissage raisonnable. optimal. En effet, toutes les transformations n'apportent pas le même impact sur la performance ; certains peuvent même dégrader la performance. Nous proposons un algorithme de sélection automatique de transformations : à chaque itération, la transformation qui donne le plus grand gain en performance est sélectionnée. Nous évaluons notre approche sur les images de la compétition ImageNet 2010 et améliorons la performance en top-5 accuracy de 70.1% à 74.9%

Etude de la fonction cardiaque 4D à partir de ciné cardiaque 3D via une synchronisation sur la respiration et rythme cardiaque: travail de Bachelor

Objectifs : Dans le cadre de l’exploration cardiaque en IRM, nous expérimentons une séquence 4D à partir d’une séquence 4D Flow. L’objectif est de calculer la fraction d’éjection et de la comparer avec la séquence 2D ciné (gold standard actuel) utilisée cliniquement. Grâce à des outils statistiques, nous évaluons la reproductibilité intra- et inter-opérateurs de la séquence 4D. Nous regardons également la précision de cette séquence en comparant les résultats des segmentations 4D aux segmentations de la séquence 2D ciné. Méthodologie : Dans un premier temps, nous avons optimisé la séquence 4D en modifiant certains paramètres comme la vitesse d’encodage retenue à 30cm/s et le tracking factor (tf) de 0.6 × mouvement mesuré (au niveau du diaphragme). Les séquences ont été réalisées, à quatre temps différents, sur trois individus sains. Dans un second temps, nous avons calculé la fraction d’éjection du ventricule gauche (FEVG) en le segmentant en diastole et en systole selon la méthode Simpson. Cela a été fait sur la séquence 4D et sur la 2D ciné, deux fois, afin d’obtenir des données plus conséquentes pour mesurer la corrélation entre les deux techniques et la variabilité entre chaque opérateur. Enfin, chaque valeur obtenue est introduite dans un tableau Excel, puis convertie sous forme d’équation ICC et Bland-Altman. A partir de ça, nous calculons la variabilité intra- et inter-opérateur, ce qui nous permet de visualiser la concordance de nos résultats et de comparer les valeurs obtenues pour le 4D avec celles obtenues pour le 2D ciné. Résultats : Les calculs ICC donnent des valeurs entre 0.71 et 0.96 pour les différents temps d'acquisitions. Ces données traduisent de bonnes corrélation et reproductibilité intra-opérateur, par rapport à ce que dit la littérature (> 0.75). Quant à la variabilité inter-opérateur, elle est, dans l'ensemble, en dessous de la valeur de référence (< 0.4) synonyme d'une faible corrélation entre opérateur. Suite à ces résultats peu encourageants, nous voulions trouver la source d’erreur. En étudiant les volumes systoliques et diastoliques séparément (et non la FEVG), nous constatons un résultat élevé en diastole (0.78), mais en dessous de nos moyennes en systole (0.4). Conclusion : Suite à l'analyse de nos résultats, nous constatons que le travail de segmentation de chacun d'entre nous subit une amélioration avec le temps et nous permet de diminuer la variabilité entre 2D ciné et 4D. La reproductibilité est observée en intra- mais est à réévaluer de façon plus approfondie en inter-opérateur

Deformable Multisurface Segmentation of the Spine for Orthopedic Surgery Planning and Simulation

Purpose: We describe a shape-aware multisurface simplex deformable model for the segmentation of healthy as well as pathological lumbar spine in medical image data. Approach: This model provides an accurate and robust segmentation scheme for the identification of intervertebral disc pathologies to enable the minimally supervised planning and patient-specific simulation of spine surgery, in a manner that combines multisurface and shape statistics-based variants of the deformable simplex model. Statistical shape variation within the dataset has been captured by application of principal component analysis and incorporated during the segmentation process to refine results. In the case where shape statistics hinder detection of the pathological region, user assistance is allowed to disable the prior shape influence during deformation. Results: Results demonstrate validation against user-assisted expert segmentation, showing excellent boundary agreement and prevention of spatial overlap between neighboring surfaces. This section also plots the characteristics of the statistical shape model, such as compactness, generalizability and specificity, as a function of the number of modes used to represent the family of shapes. Final results demonstrate a proof-of-concept deformation application based on the open-source surgery simulation Simulation Open Framework Architecture toolkit. Conclusions: To summarize, we present a deformable multisurface model that embeds a shape statistics force, with applications to surgery planning and simulation